This study targets the mixed-integer black-box optimization (MI-BBO) problem where continuous and integer variables should be optimized simultaneously. The CMA-ES, our focus in this study, is a population-based stochastic search method that samples solution candidates from a multivariate Gaussian distribution (MGD), which shows excellent performance in continuous BBO. The parameters of MGD, mean and (co)variance, are updated based on the evaluation value of candidate solutions in the CMA-ES. If the CMA-ES is applied to the MI-BBO with straightforward discretization, however, the variance corresponding to the integer variables becomes much smaller than the granularity of the discretization before reaching the optimal solution, which leads to the stagnation of the optimization. In particular, when binary variables are included in the problem, this stagnation more likely occurs because the granularity of the discretization becomes wider, and the existing modification to the CMA-ES does not address this stagnation. To overcome these limitations, we propose a simple extension of the CMA-ES based on lower-bounding the marginal probabilities associated with the generation of integer variables in the MGD. The numerical experiments on the MI-BBO benchmark problems demonstrate the efficiency and robustness of the proposed method. Furthermore, in order to demonstrate the generality of the idea of the proposed method, in addition to the single-objective optimization case, we incorporate it into multi-objective CMA-ES and verify its performance on bi-objective mixed-integer benchmark problems.

本文提出了一种用于拆分计算的神经体系结构搜索（NAS）方法。拆分计算是一种新兴的机器学习推理技术，可解决在物联网系统中部署深度学习的隐私和延迟挑战。在拆分计算中，神经网络模型通过网络使用Edge服务器和IoT设备进行了分离和合作处理。因此，神经网络模型的体系结构显着影响通信有效载荷大小，模型准确性和计算负载。在本文中，我们解决了优化神经网络体系结构以进行拆分计算的挑战。为此，我们提出了NASC，该NASC共同探讨了最佳模型架构和一个拆分点，以达到延迟需求（即，计算和通信的总延迟较小，都比某个阈值较小）。 NASC采用单发NAS，不需要重复模型培训进行计算高效的体系结构搜索。我们使用硬件（HW） - 基准数据的NAS基础的绩效评估表明，拟议的NASC可以改善``通信潜伏期和模型准确性''的权衡，即，将延迟降低了约40-60％，从基线降低了约40-60％有轻微的精度降解。

神经体系结构搜索（NAS）旨在自动化体系结构设计过程并改善深神经网络的性能。平台感知的NAS方法同时考虑性能和复杂性，并且可以找到具有低计算资源的表现良好的体系结构。尽管普通的NAS方法由于模型培训的重复而导致了巨大的计算成本，但在搜索过程中，训练包含所有候选架构的超级网的权重训练了一杆NAS，据报道会导致搜索成本较低。这项研究着重于体系结构复杂性的单发NAS，该NA优化了由两个指标的加权总和组成的目标函数，例如预测性能和参数数量。在现有方法中，必须使用加权总和的不同系数多次运行架构搜索过程，以获得具有不同复杂性的多个体系结构。这项研究旨在降低与寻找多个体系结构相关的搜索成本。提出的方法使用多个分布来生成具有不同复杂性的体系结构，并使用基于重要性采样的多个分布获得的样本来更新每个分布。提出的方法使我们能够在单个体系结构搜索中获得具有不同复杂性的多个体系结构，从而降低了搜索成本。所提出的方法应用于CIAFR-10和Imagenet数据集上卷积神经网络的体系结构搜索。因此，与基线方法相比，提出的方法发现了多个复杂性不同的架构，同时需要减少计算工作。

我们提出了一个多路相似性的理论框架，与将实价数据建模为通过光谱嵌入聚类的超图。对于基于图形的光谱群集，通常，通过使用内核函数对成对相似性进行建模，将实值数据模拟为图。这是因为内核函数与图形切割具有理论连接。对于使用多路相似性比成对相似性更合适的问题，自然地将模型作为超图，即图形的概括。然而，尽管剪切幅度进行了充分研究，但尚未建立基于HyperGraph Cut的框架来模拟多路相似性。在本文中，我们通过利用内核函数的理论基础来制定多路相似性。我们展示了我们的配方和超图之间的理论联系，以两种方式削减了加权内核$ k $ -MEANS和热核，我们证明了我们的配方合理性。我们还为光谱聚类提供了快速算法。我们的算法在经验上比现有图和其他启发式建模方法显示出更好的性能。

全根树的递归和分层结构适用于在各个领域代表统计模型，例如数据压缩，图像处理和机器学习。在大多数情况下，全根树不是随机变量;因此，避免过度装备的模型选择变得有问题。解决这个问题的方法是假设全根树上的先前分发。这使得基于贝叶斯决策理论可以避免过度装备。例如，通过将低的先前概率分配给复杂模型，最大后验估计器可防止过度拟合。此外，可以通过平均由其后后索加权的所有模型来避免过烧。在本文中，我们提出了一组全根树的概率分布。其参数表示适用于使用递归函数计算我们分发的性质，例如模式，期望和后部分布。尽管在以前的研究中已经提出了这种分布，但它们仅适用于特定应用。因此，我们提取他们的数学基本的组件，并推出了新的广义方法来计算期望，后部分布等。

Removing reverb from reverberant music is a necessary technique to clean up audio for downstream music manipulations. Reverberation of music contains two categories, natural reverb, and artificial reverb. Artificial reverb has a wider diversity than natural reverb due to its various parameter setups and reverberation types. However, recent supervised dereverberation methods may fail because they rely on sufficiently diverse and numerous pairs of reverberant observations and retrieved data for training in order to be generalizable to unseen observations during inference. To resolve these problems, we propose an unsupervised method that can remove a general kind of artificial reverb for music without requiring pairs of data for training. The proposed method is based on diffusion models, where it initializes the unknown reverberation operator with a conventional signal processing technique and simultaneously refines the estimate with the help of diffusion models. We show through objective and perceptual evaluations that our method outperforms the current leading vocal dereverberation benchmarks.

Image super-resolution is a common task on mobile and IoT devices, where one often needs to upscale and enhance low-resolution images and video frames. While numerous solutions have been proposed for this problem in the past, they are usually not compatible with low-power mobile NPUs having many computational and memory constraints. In this Mobile AI challenge, we address this problem and propose the participants to design an efficient quantized image super-resolution solution that can demonstrate a real-time performance on mobile NPUs. The participants were provided with the DIV2K dataset and trained INT8 models to do a high-quality 3X image upscaling. The runtime of all models was evaluated on the Synaptics VS680 Smart Home board with a dedicated edge NPU capable of accelerating quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 60 FPS rate when reconstructing Full HD resolution images. A detailed description of all models developed in the challenge is provided in this paper.

我们提出了一种基于多任务对抗训练的多扬声器神经文本到语音（TTS）模型的新型培训算法。传统的基于基于的训练算法的常规生成对抗网络（GAN）通过减少自然语音和合成语音之间的统计差异来显着提高合成语音的质量。但是，该算法不能保证训练有素的TTS模型的概括性能在综合培训数据中未包括的看不见的说话者的声音中。我们的算法替代训练两个深神经网络：多任务歧视器和多扬声器神经TTS模型（即GAN的生成器）。对歧视者的训练不仅是为了区分自然语音和合成语音，而且还存在验证输入语音的说话者的存在或不存在（即，通过插值可见的说话者的嵌入向量而新生成）。同时，对发电机进行了训练，以最大程度地减少语音重建损失的加权总和和欺骗歧视者的对抗性损失，即使目标扬声器看不见，也可以实现高质量的多演讲者TT。实验评估表明，我们的算法比传统的甘斯多克算法更好地提高了合成语音的质量。

我们提出了神经链，这是一个新颖的学习框架，用于对多视图图像输入进行准确的头发几何形状和外观进行建模。从任何观点都具有高保真视图依赖性效果，可以实时渲染学习的头发模型。我们的模型可实现直观的形状和风格控制，与体积同行不同。为了实现这些特性，我们提出了一种基于神经头皮纹理的新型头发表示，该神经头皮纹理编码每个Texel位置的单个链的几何形状和外观。此外，我们基于学习的头发链的栅格化引入了一个新型的神经渲染框架。我们的神经渲染是链的和抗氧化的，使渲染视图一致且逼真。将外观与多视图几何事先结合在一起，我们首次启用了外观的联合学习和从多视图设置的显式头发几何形状。我们证明了我们的方法在各种发型的忠诚度和效率方面的功效。

人的言语通常伴随着包括手臂和手势在内的身体手势。我们提出了一种方法，该方法将与目标语音音频相匹配的手势重新效果。我们方法的关键思想是通过编码剪辑之间的有效过渡的新型视频运动图从参考视频中拆分和重新组装剪辑。为了在重演中无缝连接不同的剪辑，我们提出了一个姿势感知的视频混合网络，该网络综合了两个剪辑之间的缝线框架周围的视频帧。此外，我们开发了一种基于音频的手势搜索算法，以找到重新成型帧的最佳顺序。我们的系统生成的重演与音频节奏和语音内容一致。我们定量，用户研究对综合视频质量进行评估，并证明我们的方法与以前的工作和基线相比，我们的方法与目标音频的质量和一致性更高。